Spark Streaming Reseñas y Detalles del Producto

Su capacidad para manejar grandes volúmenes de datos lo hace escalable horizontalmente y su tolerancia a fallos a través de la replicación de datos y también su soporte para el procesamiento por lotes hacen que el procesamiento de datos sea más rápido. Reseña recopilada por y alojada en G2.com.

La latencia de micro-lotes reduce la latencia y también su consumo intensivo de recursos al consumir una gran cantidad de recursos. Reseña recopilada por y alojada en G2.com.

Lo que más me gusta de Spark Streaming es su capacidad para manejar el procesamiento de datos en tiempo real de manera eficiente mientras mantiene un alto rendimiento. Permite una integración perfecta con el ecosistema de Apache Spark, proporcionando acceso a una amplia gama de bibliotecas y herramientas. El modelo de programación es fácil de trabajar, y sus mecanismos de tolerancia a fallos aseguran un procesamiento de datos confiable incluso frente a fallos. Además, la escalabilidad de Spark Streaming y su integración con diversas fuentes de datos lo convierten en una opción versátil para manejar datos en streaming. Reseña recopilada por y alojada en G2.com.

No hay soporte incorporado para el procesamiento de tiempo de eventos. Reseña recopilada por y alojada en G2.com.

Con la ayuda de Spark Streaming, se pueden transferir enormes cantidades de datos con literalmente cero latencia. Los scripts son fáciles de configurar y ejecutar utilizando clústeres de Spark. Lo más importante, las fallas se pueden encontrar y resolver con los registros de la interfaz de usuario de Spark. Reseña recopilada por y alojada en G2.com.

Hay mucho que aprender sobre Spark Streaming y grandes cantidades de documentación a veces pueden ser un poco abrumadoras de revisar. La visualización de datos puede mejorarse más en lugar de tener la interfaz básica. Puede ser costoso a veces si los clústeres no están debidamente optimizados. Reseña recopilada por y alojada en G2.com.

El streaming de Spark es muy simple y fácil de implementar ya que solo necesitamos configurar parámetros en el paquete existente. Reseña recopilada por y alojada en G2.com.

A veces, cuando los controladores no están disponibles, perdemos la conexión fácilmente y tenemos que hacer otra ejecución limpiando estados para obtener una ejecución adecuada. Reseña recopilada por y alojada en G2.com.

Spark streaming es una de las mejores opciones para transmitir datos fácilmente, después de Kafka. Si deseas transmitir una cantidad pequeña o mediana de datos, puedes usar Spark streaming de manera fácil y segura. Reseña recopilada por y alojada en G2.com.

Kafka es mejor que Spark Streaming porque Spark Streaming no funciona correctamente con una mayor cantidad de datos, mientras que Kafka Streaming maneja los datos muy bien. Reseña recopilada por y alojada en G2.com.

Análisis en tiempo real y una solución de código abierto. Reseña recopilada por y alojada en G2.com.

Complejo de configurar inicialmente y no tan relevante para aplicaciones pequeñas. Reseña recopilada por y alojada en G2.com.

El streaming de Spark es uno de los componentes clave que ayuda al streaming en tiempo real de datos y también ofrece muchas mejoras que ayudan al procesamiento de conjuntos de datos más grandes. Reseña recopilada por y alojada en G2.com.

En general, no siento aversión, pero la compatibilidad importa en algún momento en diferentes plataformas. Pero aún así, es el mejor en transmisión y procesamiento. Reseña recopilada por y alojada en G2.com.

Pude construir una tubería de datos compleja utilizando Apache Spark. Reseña recopilada por y alojada en G2.com.

Spark generalmente no es adecuado cuando el conjunto de datos es relativamente pequeño. Reseña recopilada por y alojada en G2.com.

Es evolución en el mundo de Big Data. Muy de moda y en evolución. Además, la gente lo está utilizando para el procesamiento en tiempo real, así como para el procesamiento por lotes, lo que también ahorra costos. Agradecido Reseña recopilada por y alojada en G2.com.

Es difícil de entender y aprender. No hay muchos recursos disponibles. Además, las personas deben tener un sólido conocimiento en big data con comprensión de map reduce y java para entender mejor el streaming de spark. Reseña recopilada por y alojada en G2.com.

Spark es un marco muy poderoso y ejecutamos trabajos de transmisión de Spark para múltiples requisitos, como recopilar datos de flume, kafka, sqoop, hdfs y enviarlos a otros nodos.

Uno de los trabajos de transmisión de Spark que se utiliza diariamente es para copiar nuestros datos de producción a DR. Lo que hacemos aquí es copiar las fsimages del clúster de producción y DR, y luego ejecutar un trabajo de transmisión de Spark para aplanar la imagen y calcular la diferencia, después de lo cual los datos se envían a una base de datos y los datos se copian de producción a DR utilizando la diferencia de la imagen del espacio de nombres. Hemos copiado casi 800+ TB de datos utilizando este trabajo de transmisión. Reseña recopilada por y alojada en G2.com.

Los trabajos de transmisión de Spark son intensivos en recursos y complejos, por lo que necesitas ingenieros que sepan bien cómo ajustar el trabajo, de lo contrario, un trabajo de transmisión de Spark podría consumir suficientes recursos como para derribar un clúster multinodo. Reseña recopilada por y alojada en G2.com.